Transformer models have achieved great success across many NLP problems. However, previous studies in automated ICD coding concluded that these models fail to outperform some of the earlier solutions such as CNN-based models. In this paper we challenge this conclusion. We present a simple and scalable method to process long text with the existing transformer models such as BERT. We show that this method significantly improves the previous results reported for transformer models in ICD coding, and is able to outperform one of the prominent CNN-based methods.

Context-sensitive two-point layer 5 pyramidal cells (L5PCs) were discovered as long ago as 1999. However, the potential of this discovery to provide useful neural computation has yet to be demonstrated. Here we show for the first time how a transformative L5PCs-driven deep neural network (DNN), termed the multisensory cooperative computing (MCC) architecture, can effectively process large amounts of heterogeneous real-world audio-visual (AV) data, using far less energy compared to best available 'point' neuron-driven DNNs. A novel highly-distributed parallel implementation on a Xilinx UltraScale+ MPSoC device estimates energy savings up to 245759 $ \times $ 50000 $\mu$J (i.e., 62% less than the baseline model in a semi-supervised learning setup) where a single synapse consumes $8e^{-5}\mu$J. In a supervised learning setup, the energy-saving can potentially reach up to 1250x less (per feedforward transmission) than the baseline model. The significantly reduced neural activity in MCC leads to inherently fast learning and resilience against sudden neural damage. This remarkable performance in pilot experiments demonstrates the embodied neuromorphic intelligence of our proposed cooperative L5PC that receives input from diverse neighbouring neurons as context to amplify the transmission of most salient and relevant information for onward transmission, from overwhelmingly large multimodal information utilised at the early stages of on-chip training. Our proposed approach opens new cross-disciplinary avenues for future on-chip DNN training implementations and posits a radical shift in current neuromorphic computing paradigms.

需要在机器学习模型中对最小参数设置的需求，以避免耗时的优化过程。$ k $ - 最终的邻居是在许多问题中使用的最有效，最直接的模型之一。尽管具有众所周知的性能，但它仍需要特定数据分布的$ K $值，从而需要昂贵的计算工作。本文提出了一个$ k $ - 最终的邻居分类器，该分类器绕过定义$ k $的值的需求。考虑到训练集的数据分布，该模型计算$ k $值。我们将提出的模型与标准$ K $ - 最近的邻居分类器和文献中的两个无参数版本进行了比较。11个公共数据集的实验证实了所提出方法的鲁棒性，因为所获得的结果相似甚至更好。

本文提出了Mburst，这是一种新型的多模式解决方案，用于视听语音增强功能，该解决方案考虑了有关前额叶皮层和其他大脑区域的锥体细胞的最新神经系统发现。所谓的爆发传播实现了几个标准，以更加可行的方式解决信用分配问题：通过反馈来指导可塑性的标志和大小，并线性化反馈信号。 Mburst从这种能力中受益于学习嘈杂信号和视觉刺激之间的相关性，从而通过扩增相关信息和抑制噪声来归因于语音。通过网格语料库和基于Chime3的数据集进行的实验表明，Mburst可以将类似的掩模重建基于多模态反向传播基线，同时证明了出色的能量效率管理，从而降低了神经元的发射速率，以降低价值，最高为\ textbf {$ 70 \％$}降低。这样的功能意味着更可持续的实现，适合助听器或任何其他类似的嵌入式系统。

有充分的神经生物学证据表明，上下文敏感的新皮质神经元使用其顶端输入来放大相干进料（FF）输入的传播。但是，到目前为止，尚未证明这种已知机制如何提供有用的神经计算。在这里，我们首次展示了这种神经信息处理的处理和学习能力与哺乳动物新皮层的能力相匹配。具体而言，我们表明，由此类本地处理器组成的网络将冲突的信息传输到更高级别，并大大减少处理大量异质现实世界数据所需的活动量，例如在处理视听语音时，这些本地处理器使用这些本地处理器时看到唇部动作可有选择地放大这些动作产生的听觉信息的FF传输，反之亦然。由于这种机制比最佳可用的深神经网的最佳形式更有效率，因此它为理解大脑的神秘能量节能机制提供了逐步改变，并激发了设计增强形式的生物学上的机器学习算法的进步。

本文提出了一种新型的多式模式自学架构，用于节能音频 - 视听（AV）语音增强，将图形神经网络与规范相关性分析（CCA-GNN）集成在一起。所提出的方法将其基础放在最先进的CCA-GNN上，该方法通过最大化相同输入的增强视图对之间的相关性来学习代表性的嵌入，同时脱离了断开连接的特征。常规CCA-GNN的关键思想涉及丢弃增强变化的信息并保留增强不变的信息，同时阻止捕获冗余信息。我们提出的AV CCA-GNN模型涉及多模式表示学习环境。具体而言，我们的模型通过从音频和视觉嵌入的同一信道和规范相关性的增强视图中最大化的规范相关性来改善上下文AV语音处理。此外，它提出了一个位置节点编码，该位置节点在计算节点最近的邻居时考虑了先前的框架序列距离，而不是特征空间表示，并通过邻域的连接在嵌入式中引入时间信息。在基准Chime3数据集上进行的实验表明，我们提出的基于框架的AV CCA-GNN确保在时间上下文中获得更好的特征学习，从而导致比最先进的CCA-GNN更节能的语音重建感知器（MLP）和长期记忆（LSTM）模型。

越来越密集的流量在我们当地的环境中成为挑战，促使需要更好的交通监控和管理系统。与车辆粗加分类相比，细粒度的车辆分类似乎是一个具有挑战性的任务。因此，基本上需要探索车辆检测和分类的鲁棒方法，因此需要进行细粒度。现有的车辆制作和模型识别（VMMR）系统已经开发在同步和受控的流量条件上。需要在复杂，城市，异构和非同步交通条件下坚固的VMMR仍然是开放式研究区域。在本文中，使用深度学习解决了车辆检测和细粒度分类。为了进行相关复杂性进行细粒度分类，专门制备具有高内部和低次间变异的本地数据集THS-10。 DataSet由4250辆汽车型号的10辆车型号，即本田市，本田思域，铃木，铃木博拉，铃木文化，铃木Mehran，Suzuki Ravi，Suzuki Swift，Suzuki Wagon R和Toyota Corolla。此数据集可在线获取。已经探索了两种方法，并分析了从深神经网络的微调和特征提取的车辆分类。进行比较研究，并证明了更简单的方法可以在当地环境中产生良好的结果，以应对复杂的问题，如密集的遮挡和车道偏离。因此，减少了计算负荷和时间，例如，微调成立-V3产生的最高精度为97.4％，最低错误分类率为2.08％。微调MobileNet-V2和Reset-18分别产生96.8％和95.7％的精度。从FC6亚历尼特层的提取特征产生93.5％的精度，错误分类率为6.5％。